Hiện tại vẫn chưa rõ ngày sinh của ông. Một số tài liệu ghi ông sinh vào tháng 9 năm 1924, quê xã Sơn Tân, huyện Hương Sơn, tỉnh Hà Tĩnh. Cha của ông là ông Lê Lương, vốn là một nhà giáo. Mẹ của ông là bà Lê Thị Hai. Ông là người con thứ 4 trong gia đình có 7 anh chị em. Một người em trai của ông là Thượng tướng Lê Minh Hương, Bộ trưởng Bộ Công an từ 1996-2002.

Chịu ảnh hưởng của cha, ông được thừa hưởng một sự giáo dục tốt từ nhỏ và kế thừa nghiệp giáo dục. Sau khi tốt nghiệp Tú Tài, ông trở thành một giáo viên tiểu học tại địa phương.